Revert "Fix native code uneffective loads after recompilation" (bug#42944)

This reverts commit 8a931a97b8dd19a38d6f719f810280a07ba76438.

This introduced bug#42944.

Fix native code uneffective loads after recompilation

'dlopen' can return the same handle if two shared with the same
filename are loaded in two different times (even if the first was
deleted!).  To prevent this scenario the last modification time of the
source file is included in the hashing algorithm.

* src/comp.c (Fcomp_el_to_eln_filename): Update hashing algo to
include the source last modification date.
* src/lread.c (maybe_swap_for_eln): Do not check for eln newer
then elc as this is now unnecessary.

Merge remote-tracking branch 'savannah/master' into HEAD

; Minor simplification of two recent changes

Make shell-resync-dirs handle whitespace in directory names

* lisp/shell.el (shell-resync-dirs): Correctly handle
whitespace in directory names (bug#23324).

Allow searching interactively over completions in `M-x'

* lisp/simple.el (read-extended-command): Allow doing interactive
searches over the completions (bug#12490).  This restores the
behaviour from Emacs 23 that was lost in Emacs 24.

Ensure `bibtex-set-dialect' is executed in bibtex buffers

* lisp/textmodes/bibtex.el (bibtex-mode): Call `bibtex-set-dialect'.
* test/automated/bibtex-tests.el: Add regression tests (bug#21764).

Make etags-list-tags work with Exuberant ctags

* lisp/progmodes/etags.el (etags-list-tags): Make the function
work with Exuberant ctags (bug#23400).

Fix #'(lambda ...) font locking

* lisp/emacs-lisp/lisp-mode.el (lisp--el-non-funcall-position-p):
Fontize #'(lambda ...) better (bug#23465).

Fix a segfault in daemon mode Emacs when detaching an X session

* src/xterm.c (x_uncatch_errors): Add a sanity check for
x_error_message (bug#23939).

Distinguish errors in bytecomp-tests

* test/lisp/emacs-lisp/bytecomp-tests.el (bytecomp-check-1)
(test-byte-opt-arithmetic, bytecomp-lexbind-check-1)
(bytecomp-lexbind-explain-1):
When comparing interpreted with compiled results, don't consider all
errors to be equal; take the error type into account.  (The error
arguments may differ, but there may be good reasons for that.)

Make bytecomp-tests re-runnable

* test/lisp/emacs-lisp/bytecomp-tests.el
(test-byte-comp-macro-expand-lexical-override): Remove functions
before testing so that the test can be run twice without failing.

Make thingatpt recognise files names with @ in them

* lisp/thingatpt.el (thing-at-point-file-name-chars): Add @
(Bug#24606).

; Fix last change to comint.el

* lisp/comint.el (comint-highlight-input): Add :version tag.
(comint-send-input): Fix indentation.

Add a variable to control VC completion over branch names

* lisp/vc/vc-git.el (vc-git-revision-complete-only-branches): New
variable (bug#25710).
(vc-git-revision-table): Use it.

Better check for multi-hops when calling direct async processes

* lisp/net/tramp-sh.el (tramp-multi-hop-p, tramp-compute-multi-hops):
Move them from here ...

* lisp/net/tramp.el (tramp-multi-hop-p, tramp-compute-multi-hops): ... here.
(tramp-direct-async-process-p): Use `tramp-compute-multi-hops'.

Merge branch 'master' of git.sv.gnu.org:/srv/git/emacs

Don't override python font locking in comint

* lisp/comint.el (comint-highlight-input): New variable (bug#32344).
(comint-send-input): Use it.

* lisp/progmodes/python.el (inferior-python-mode): Set it.

; * etc/NEWS: Fix typos.

Signal an end-of-file error upon errors when reading from stdin

* src/minibuf.c (read_minibuf_noninteractive): Signal an
`end-of-file' error when reading from stdin instead of a general
error (bug#34123).  This makes it easier to write code that
recovers from this situation.

Suggested by Noam Postavsky <npostavs@gmail.com>.

Let ido-everywhere turn on ido-mode

* lisp/ido.el (ido-everywhere): Turn on ido-mode, if it's not already
on.  Otherwise, having ido-everywhere enabled messes all file and
buffer reading interactive commands (bug#34292).

Fix the [ command in speedbar mode

* lisp/speedbar.el (speedbar-expand-line-descendants): Expand only
the current line -- not all subsequent lines in the speedbar
buffer (bug#35014).

Fix a page-break in the middle of a keystroke in basic.texi

* doc/emacs/basic.texi (Inserting Text): Avoid having the C-x 8 ]
keystroke broken over two pages in the PDF version (bug#35885).

Remove some compat code from viper-cmd.el

Remove some compat code from ispell.el

* lisp/textmodes/ispell.el (ispell): transient-mark-mode and
mark-active are always bound, so remove the check.

Remove some compat code from erc

* lisp/erc/erc.el (erc-mode): next-line-add-newlines is always
defined, so remove the check.

Get rid of build-time checks around NS tabbar code (bug#33118)

* src/nsterm.m ([EmacsView initFrameFromEmacs:]): Get rid of version
checks.

Remove some compat code from viper-*.el

* lisp/emulation/viper-util.el (viper-check-minibuffer-overlay):
* lisp/emulation/viper-cmd.el (viper-minibuffer-standard-hook)
(viper-minibuffer-real-start, viper-submit-report): No need to
check whether minibuffer-prompt-end is defined.

Remove some compat code from descr-text.el

* lisp/descr-text.el (describe-text-properties-1): button.el is
pre-loaded, so remove check for it.

Remove some compat code from viper-cmd.el

* lisp/emulation/viper-cmd.el (viper-next-line-at-bol): No need to
check for button-at.

Remove some compat code from ps-print.el

* lisp/ps-print.el: Don't make a face-list alias.

Remove some compat code from forms.el

* lisp/forms.el (forms-mode): make-face always exists.

Remove some compat code from smiley.el

* lisp/gnus/smiley.el (smiley-style): face-attribute is always defined.

Remove some compat code from chart.el

* lisp/emacs-lisp/chart.el (chart-face-list):
set-face-background-pixmap is always defined.

Remove some compat code from htmlfontify.el

* lisp/htmlfontify.el (hfy-color-vals): color-values is always
defined.

Remove some compat code from ps files

* lisp/ps-def.el (ps-color-device): Ditto.

* lisp/ps-print.el (ps-color-scale): Make into an obsolete alias.
(ps-begin-job): Adjust caller.

* lisp/progmodes/ebnf2ps.el (ebnf-generate-eps, ebnf-generate): Ditto.

Remove some compat code from woman.el

* lisp/woman.el (woman-fontify): Don't check for functions always
defined.

Replace last uses of idlwave-get-buffer-visiting

* lisp/progmodes/idlw-help.el (idlwave-help-with-source):
* lisp/progmodes/idlw-shell.el (idlwave-shell-set-bp-in-module)
(idlwave-shell-delete-temp-files, idlwave-shell-save-and-action):
Replace last occurrences of deprecated idlwave-get-buffer-visiting
with now-equivalent find-buffer-visiting.

* lisp/vt-control.el: Use lexical-binding.

Fix Libravatar federation handling

* lisp/image/gravatar.el (gravatar--service-libravatar): Implement
correct algorithm (bug#40354).

Fix Libravatar federation handling

* lisp/image/gravatar.el (gravatar--service-libravatar): Implement
correct algorithm (bug#40354).

Fix truncated command names in process-attributes under Macos

* src/sysdep.c (system_process_attributes): Fix truncation of
command names in process-attributes under Macos (bug#36287).

Rearrange and clean up code in time.el (Bug#40863)

* lisp/time.el (world-clock, zoneinfo-style-world-list)
(legacy-style-world-list, world-clock-list)
(time--display-world-list, world-clock-time-format)
(world-clock-timer-enable, world-clock-timer-second): Move definitions
closer to 'world-clock' code.  Remove redundant :group args.

(display-time-mail-file, display-time-mail-directory)
(display-time-mail-function)
(display-time-default-load-average)
(display-time-load-average-threshold, display-time-day-and-date)
(display-time-interval, display-time-24hr-format)
(display-time-hook, display-time-mail-face)
(display-time-use-mail-icon, display-time-mail-string)
(display-time-format, display-time-string-forms): Remove redundant
:group args.

Rename 'display-time-world' to 'world-clock' (Bug#40863)

* lisp/time.el (world-clock-list, world-clock-time-format)
(world-clock-buffer-name, world-clock-timer-enable)
(world-clock-timer-second, world-clock-label, world-clock-mode)
(world-clock-display, world-clock, world-clock-update): Rename
from 'display-time-world-*' and update all uses.

(world-clock): New defgroup.
(zoneinfo-style-world-list, legacy-style-world-list): Use :group
'world-clock'.

(display-time-world-list, display-time-world-time-format)
(display-time-world-buffer-name)
(display-time-world-timer-enable)
(display-time-world-timer-second): Make into obsolete variable
aliases for the new names.

* lisp/time.el (display-time-world-mode)
(display-time-world-display, display-time-world)
(display-time-world-timer): Make into obsolete function aliases
for the new names.

* etc/NEWS: Announce the above changes.

Improve display-time-world UI (Bug#40863)

* lisp/time.el (display-time-world-mode): Set 'revert-buffer-function'
to 'display-time-world-timer'.

(display-time-world-label): New face.
(display-time-world-display): Use the new face.  Move point to new
buffer on creation and resize.

Remove the "Recent message" section from the bug reports

* lisp/mail/emacsbug.el (report-emacs-bug): Don't include "Recent
messages" since it has privacy implications.  Problem reported by
Lars Ingebrigtsen in:
https://lists.gnu.org/archive/html/emacs-devel/2019-11/msg01099.html
(bug#39185).

srecode-utest-project test should now work on Hydra, hopefully

Fix a big in the srecore test setup

* test/lisp/cedet/srecode-utest-template.el
(srecode-utest-project): Set the current directory in the project
so that we'll find it later (bug#42533).  The in-project directory
is /tmp, which is not actually what it is on many machines that
have the temporary directory somewhere else.

* lisp/savehist.el: Doc fix.

Fix minor bugs in image.c

* test/src/image-tests.el (image-test-circular-specs): New file.
* src/image.c (parse_image_spec): Return failure for circular lists.
(valid_image_p): Don't look at odd-numbered list elements expecting to
find a property name.
(image_spec_value): Handle circular lists.
(equal_lists): Introduce.
(search_image_cache): Use `equal_lists' (bug#36403).

Fix issues with OpenPGP header

* doc/misc/message.texi (OpenPGP Header): Mention correct hook
* lisp/gnus/message.el (message-openpgp-header): Improve customize type
(message-add-openpgp-header): Insert header into correct buffer
(bug#42913).

Fix buffer overflow in x-send-client-message

* xselect.c (x_fill_property_data): Add parameter NELEMENTS_MAX.
* xterm.h (x_fill_property_data): Update prototype.
* xselect.c (Fx_send_client_event): Update call.  This fixes
  a buffer overflow in event.xclient.data.
* xfns.c (Fx_change_window_property): Update call (bug#23482).

Copyright-paperwork-exempt: yes

Merge from origin/emacs-27

362ca83a3b (origin/emacs-27) Let Emacs start even if curdir is inacce...
dd989c0ea0 * etc/NEWS: Mention GnuPG 2.0 through 2.1.5 issue (Bug#428...
4542b750cc Fix bug with ~/Emacs file not being read at init
9b403d624e ; Fix last change
6bff65a626 ; * doc/lispref/sequences.texi (Sequence Functions): Typo ...
3c4edfd85e Prevent from frozen frame after `C-z' in Lucid builds
98e8241992 Document the 'flex' completion style
19fa8b7ca3 Note that Emacs needs systemd support if systemd is used t...

# Conflicts:
# etc/NEWS

; Merge from origin/emacs-27

The following commit was skipped:

8ff5e346fe Regexps cannot infloop; fix manual

Merge from origin/emacs-27

cf0ee6f49b ; spelling fixes
16f4f26632 Fix startup working dir bug on NeXTSTEP

Implement a cache for all types of gravatars

* lisp/image/gravatar.el (gravatar-automatic-caching): Made obsolete.
(gravatar-cache-ttl): Ditto.
(gravatar--cache): New variable to cache gravatars in-memory.
(gravatar-retrieve): Maintain the cache.
(gravatar--prune-cache): Remove old entries.
(gravatar-retrieved): Remove use of the old-style cache (bug#40355).

Fix ert ability to peek inside structures when comparing unequal values

* lisp/emacs-lisp/ert.el (ert--explain-equal-rec): Treat records
as arrays (bug#40562).  Also add support for cl-structs.

Remove reference to Emacs Lisp List from FAQ

* doc/misc/efaq.texi (Packages that do not come with Emacs): Remove
reference to Emacs Lisp List.  (Bug#41681)

Add NEWS entry for the count-lines change

Add optional ALL-FRAMES arfument to count-windows

* lisp/window.el (count-windows): Allow counting the windows on
all frames (bug#42872).

Rename new option to flyspell-use-mouse-3-for-menu

* lisp/textmodes/flyspell.el (flyspell-use-mouse-3-for-menu): Rename
from 'flyspell-correct-on-mouse-3'.  The previous name did not make it
clear that it's about opening a menu.  (Bug#11680)
(flyspell--set-use-mouse-3-for-menu): Rename from
'flyspell--set-correct-on-mouse-3'.  Bind menu to 'down-mouse-3'
instead of 'mouse-3' to be more in line with user expectations.
(flyspell-mode): Use the above new names.
* doc/emacs/fixit.texi (Spelling):
* etc/NEWS: Update documentation to use the new name.

Suggested by Stefan Monnier <monnier@iro.umontreal.ca>.

Trim titles in eww so that the host from the URL is visible

* lisp/net/eww.el (eww-update-header-line-format): Trim the line
of the title so that the host bit of the URL is visible (bug#42898).

Remove some compat code from esh-io.el

* lisp/eshell/esh-io.el (eshell-set-output-handle): Remove check
for null-device, which is always bound.

Remove some compat code from ediff

* lisp/vc/ediff-init.el (ediff-convert-standard-filename): Make
obsolete.
* lisp/vc/ediff-util.el (ediff-setup): Adjust callers.
(ediff-make-temp-file): Ditto.

Remove some compat code from ede/make.el and semantic/dep.el

* lisp/cedet/ede/make.el (ede--find-executable): Make obsolete.
(ede-make-command): Adjust caller.

* lisp/cedet/semantic/dep.el
(semantic--dependency-find-file-on-path): Make obsolete.
(semantic-dependency-find-file-on-path): Adjust callers.

Remove some compat code from python.el

* lisp/progmodes/python.el: Remove some compat function definitions.

Remove some compat code from binhex.el and uudecode.el

* lisp/mail/binhex.el (binhex-temporary-file-directory): Make obsolete.
(binhex-decode-region-external): Adjust usage.

* lisp/mail/uudecode.el (uudecode-temporary-file-directory): Make
obsolete.
(uudecode-decode-region-external): Adjust usage.

Remove some compat code from ispell.el

* lisp/textmodes/ispell.el (ispell-check-version): Remove check
for temporary-file-directory, which is always defined.

Remove some compat code from uudecode.el

* lisp/mail/uudecode.el (uudecode-decode-region-external): Remove
check for make-temp-file, which is always defined.

Remove some compat code from ediff-util.el

* lisp/vc/ediff-util.el (ediff-minibuffer-with-setup-hook): Make
into an obsolete macro.
(ediff-read-file-name): Adjust caller.

Remove XEmacs compat code from idlwave.el

idlwave.el: (idlwave-comment-line-start-skip, idlwave-mode-map)
(idlwave-mode, idlwave-get-buffer-visiting)
(idlwave-find-file-noselect, idlwave-complete-in-buffer)
(idlwave-attach-classes, idlwave-popup-select)
(idlwave-split-menu-emacs, idlwave-display-completion-list)
(idlwave-default-choose-completion)
(idlwave-display-completion-list-emacs)
(idlwave-display-completion-list-1)
(idlwave-make-modified-completion-map-emacs)
(idlwave-class-file-or-buffer, idlwave-rinfo-mouse-map)
(idlwave-display-calling-sequence)
(idlwave-insert-source-location)
(idlwave-list-load-path-shadows, idlwave-edit-in-idlde): Remove
XEmacs compat code.

* Fix async compilation `comp-eln-load-path' effectiveness (bug#42909)

* lisp/emacs-lisp/comp.el (comp-run-async-workers): Forward
`comp-eln-load-path' to async workers.

Remove some compat code from window.el

* lisp/window.el (window-fixed-size-p): Remove check for
window-size-fixed, which is always defined.

Remove some compat code from idlwave.el

* lisp/progmodes/idlwave.el (idlwave-one-key-select): Remove check
from fit-window-to-buffer, which always exists.

Remove come compat code from rmailedit.el

* lisp/mail/rmailedit.el (rmail-edit-mode): Remove check for
mode-line-modified, which is always defined.

Remove some compat code from erc-track.el

* lisp/erc/erc-track.el (erc-track-remove-from-mode-line)
(erc-track-add-to-mode-line): Remove check for mode-line-modes,
which is always bound.

Fix glitch uncovered by gcc -fsanitize=undefined

* src/ccl.c (ccl_driver): Defend against signed integer
overflow (Bug#42660).  Perhaps some of this is unnecessary,
but it is safe and ccl.c is low-priority these days.

Let Emacs start even if curdir is inaccessible

* lisp/startup.el (normal-top-level): Also delete PWD if
file-attributes fails for either $PWD or default-directory,
instead of failing out of the top level.
This fixes a regression from Emacs 26 (Bug#42903).

Update from Gnulib

This incorporates:
2020-08-17 verify: avoid __built_assume on Clang
2020-08-17 libc-config: avoid Clang’s __diagnose_if__
* lib/cdefs.h, lib/verify.h: Copy from Gnulib.

Don't use -Wsuggest-attribute=malloc by default

* configure.ac: Move -Wsuggest-attribute=malloc to the set used
only under --enable-gcc-warnings.

Fix assertion violation in pdumper.c

* src/pdumper.c (pdumper_find_object_type_impl): When checking
last_mark_bits, require the offset to be less than
discardable_start, not cold_start.  This fixes a typo introduced in
2020-08-14T21:33:21Z!eggert@cs.ucla.edu (Bug#42832).

; * etc/NEWS: Call out a recent change in 'count-words'.  (Bug#41761)

* Improve eln filename hashing

Make eln filename hashing logic insensitive to the installation
process.

* src/comp.c (epaths.h): New include to have PATH_DUMPLOADSEARCH,
PATH_LOADSEARCH definitions.
(loadsearch_re_list): New static var.
(Fcomp_el_to_eln_filename): Update logic to have the eln hashing
insensitive to the installation process.
(syms_of_comp): GC protect 'loadsearch_re_list'.

* test/src/comp-tests.el (comp-tests-bootstrap): Fix test for new eln setup.

* Introduce `load-no-native'

Given load loads automatically a .eln in place of a .elc we need a way
to force the .elc load in the case we really want it.

* src/lread.c (syms_of_lread): Define `load-no-native'.
(maybe_swap_for_eln): Make use of.

* Remove a false permission related error while native compiling

* lisp/emacs-lisp/bytecomp.el (byte-compile-file): Do not crash if
native compiling we have no permission to create the .elc
file.  We are not creating it.

Allow for native compiling .el.gz files

This is needed for installed instances compiled with NATIVE_FAST_BOOT

* src/comp.c (maybe_defer_native_compilation): Search for .el.gz
too as a source if the .el is not found.
(Fcomp_el_to_eln_filename): Remove the .gz in case to
generate the hash.

* lisp/emacs-lisp/comp.el (comp-valid-source-re): New defconst.
(comp-run-async-workers, native-compile-async): Make use of
`comp-valid-source-re'.

Make install target functional for new eln-cache directory arrangement

* src/comp.h (fixup_eln_load_path): New extern.

* src/comp.c (fixup_eln_load_path): New function.

* src/pdumper.c (dump_do_dump_relocation): Update to make use of
'fixup_eln_load_path'.

* lisp/loadup.el: Update to store in the compilation unit the
correct eln-cache installed path. Rename --lisp-dest -> --eln-dest
and.

* Makefile.in: Pass the eln destination directory to
src/Makefile. Rename LISP_DESTDIR -> ELN_DESTDIR.
(ELN_DESTDIR): Define.
(install-eln): New target.
(install): Add install-eln as prerequisite.

* src/Makefile.in: Rename --lisp-dest -> --eln-dest and
LISP_DESTDIR -> ELN_DESTDIR.

* Deferred compilation must always compile despite source file timestamp

* lisp/emacs-lisp/comp.el (comp-run-async-workers): Always compile
if load is set.

* Do not fail if more then one level of directories has to be created

* lisp/emacs-lisp/comp.el (native-compile-async): Call
make-directory if necessary.

* Prevent recursive load

Prevent autoload to kicks in while running `native-compile-async'.
Autoload cannot be used safely by functions serving deferred
compilation as a circular load can be triggered if the dependency is
not native compiled already.

* lisp/emacs-lisp/comp.el (warnings): Add require.

Some Makefile updates and clean-up

* Makefile.in (clean): Remove 'eln-cache' folder.

* lisp/Makefile.in (.SUFFIXES): Remove .eln.
(native-compile-clean): Target remove.
(compile-always, bootstrap-clean): Remove 'native-compile-clean'
prerequisite.

* src/Makefile.in (%.eln): Remove rule.

Make comp-deferred-compilation a simple global and set it on by default

* src/comp.c (comp_deferred_compilation): Doc update and set it to
true by default.

* lisp/emacs-lisp/comp.el (comp-deferred-compilation): Remove
customize.

Move eln files into dedicated cache directories

When loading a elc file search for a corresponding eln one into
`comp-eln-load-path' directories and load it if available.
`comp-eln-load-path' contains by default two directory (user and
system one).

* src/pdumper.c (dump_do_dump_relocation): While resurrecting from
load set eln cache sys dir in `Vcomp_eln_load_path'.

* src/lread.c (maybe_swap_for_eln): New function.
(Fload): Clean-up some now unnecessary code going
back to the master one.
(Fload): Make use of Vcomp_eln_to_el_h for the reverse file
look-up.
(openp_add_middle_dir_to_suffixes)
(openp_max_middledir_and_suffix_len, openp_fill_filename_buffer):
Remove functions.
(openp): As for Fload revert code modifications.
(openp): When a .elc file is being loaded check if a corresponding
eln can be loaded in place.

* src/comp.c (ELN_FILENAME_HASH_LEN): New macro.
(comp_hash_string): New function.
(hash_native_abi): Make use of 'comp_hash_string'.
(hash_native_abi): Change `comp-native-path-postfix' format.
(Fcomp_el_to_eln_filename): New function.
(Fcomp__compile_ctxt_to_file): Have file_name as a input.
(Vcomp_eln_to_el_h, Vcomp_eln_load_path): New global varaibles.

* lisp/startup.el (normal-top-level): Add user eln cache directory
in `comp-eln-load-path'.

* lisp/help-fns.el (find-lisp-object-file-name): Reverse look-up
files using `comp-eln-to-el-h'.

* lisp/files.el (locate-file): Likewise.

* lisp/emacs-lisp/find-func.el (find-library-name): Likewise.

* lisp/emacs-lisp/comp.el (comp-output-directory)
(comp-output-base-filename, comp-output-filename): Remove function.
(comp-compile-ctxt-to-file): Create parent directories if
necessary.
(comp-run-async-workers, native-compile, native-compile-async):
Make use `comp-el-to-eln-filename'.

* etc/NEWS: Mention GnuPG 2.0 through 2.1.5 issue (Bug#42845).

Remove some obsolete items from PROBLEMS

* etc/PROBLEMS: Remove some obsolete items.

Remove more XEmacs compat code from viper

* lisp/emulation/viper-util.el (viper-sit-for-short)
(viper-last-command-char): Make obsolete.
(viper-fast-keysequence-p):
* lisp/emulation/viper-cmd.el (viper-escape-to-emacs)
(viper-digit-argument, viper-command-argument, viper-undo)
(viper-exit-minibuffer):
* lisp/emulation/viper-mous.el (viper-multiclick-p):
Adjust callers.

; * doc/lispref/tips.texi: Fix typo.

Fix bug with ~/Emacs file not being read at init

* src/xrdb.c (get_user_app): Put "/" between homedir
and %L or %N (Bug#42827).

Simplify format_time_string

* src/timefns.c (emacs_nmemftime, format_time_string):
Simplify on the basis of recent nstrftime changes.
Propagate nstrftime errno.